Ông sinh ngày 13 tháng 6 năm 823 tại Frankfurt, khi anh em của mình đều đã lớn và được vua cha ban cho các tiểu vương quốc. Việc vua Louis Mộ Đạo ban cho Charles tiểu vương quốc Alemannia lúc ông mới 6 tuổi, đã làm cho con ông Lothair, mà đã được chọn nối ngôi từ năm 815 cũng như là hoàng đế thứ hai vào năm 817, nổi giận. Lothair buộc tội Judith là đã ngoại tình với Bernard của Septimania, cho là Bernard mới chính là cha ruột của Charles. Cùng với 2 người em Pepin và Ludwig người Đức, Lothar đã nổi loạn. Pepin và Ludwig người Đức bắt được và hạ bệ Louis I Mộ Đạo. Tuy nhiên năm 831 ông được giải cứu và lại trở thành hoàng đế.

Năm 838 Charles Hói được phong làm tiểu vương của Neustria (miền bắc Pháp) khi Pepin mất. Cái chết của vua Louis Mộ Đạo năm 840 dẫn tới cuộc chiến tranh của các người con còn lại. Charles đã liên kết với anh mình Ludwig người Đức để chống lại vị hoàng đế mới kiêu ngạo, Lothair I. Cuộc chiến tranh đã chấm dứt qua hội nghị Verdun vào tháng 8 năm 843.